In The Loop 产业速评：美国 H800 禁令解析
2023年10月17日，美国商务部宣布将收紧对先进 AI 芯片的出口管制，该政策将禁止 NVIDIA 出口已经是专门为中国专门定制的 H800 和 A800 芯片[1]。新规定公布后，英伟达盘中大跌 6%，AMD 和英特尔股价也都下跌了 3%。
本文翻看了美国商务部原始文件，尝试通过数字理解最新禁令的含义，作为软件工程师，作者对应硬件的了解并不算全面，文中的计算也不一定正确，欢迎指正。
出口管制规则的具体更新规则及其影响
本次 AI 芯片出口管制政策[2]是美国政府在 2022 年 10 月首次实施的全面出口管制政策[3]的延续与升级。
2022 年 10 月管制政策中，美国禁止出口 AI 芯片的有两个门槛[4]：
Computational Performance: 计算性能超出 4800 TOPS 的芯片将会被禁止。这里的 4800 TOPS 也就对应 16 位浮点数 300 teraFLOPS 的性能，或者是 8 位时 600 tera 整数计算。
One or more digital processor units executing machine instructions having a bit length per operation multiplied by processing performance measured in TOPS, aggregated over all processor units, of 4800 or more;
Interconnect Bandwidth: 互联带宽双向大于 600 GB/s 的芯片将会被禁止
Integrated circuits that have or are programmable to have an aggregate bidirectional transfer rate over all inputs and outputs of 600 Gbyte/s or more to or from integrated circuits other than volatile memories, and any of the following:
如下图所示，为了绕开这个禁令，NVIDIA 专门研发了 A100 与 H100 的中国定制版芯片：A800 与 H800。
2023 年 10 月管制规则[5]相对于 2022 年更新主要为：
调整了高级芯片收到限制的参数 出台了新的措施，防止芯片厂商绕过限制政策
在参数调整中，修改为：
删去了 interconnect bandwidth 的限制 计算性能超出 4800 TOPS 的芯片仍然会被禁止，这点保持不变 增加了一个 performance density 的参数，这个参数就是用于防止芯片厂商试图绕过限制
First, to prevent technical workarounds, BIS is adding a performance density parameter to the original control and including a new structure for the control. A performance density parameter prevents the workaround of simply purchasing a larger number of smaller datacenter AI chips which, if combined, would be equally powerful as restricted chips.[6]
这里的 performance density 是如何计算的呢？
首先有 TPP，也就是 Total processing performance，这就是之前说的不能超过 4800 TOPS 的值 然后 Performance Density 就是 TPP 除以适用芯片面积
‘Performance density’ is ‘TPP’ divided by ‘applicable die area’
为什么要加上这个参数呢？这是为了防止芯片厂商使用一种叫做 chiplet 的技术绕过对全芯片的限制。也就是说，芯片厂商可以通过将多个 chiplet 的小部件组合在一起，这样单个的性能指标不会超过原有的限制，也就不违反规定，但是实际上总的性能是很高的。美国商务部的政策白皮书大概是这么写的：
Technical note to (b)19: To calculate the number of transistors within a die, a foundry has two options. First, the foundry may take the transistor density of the process node used to manufacture the die and multiply this density by the area of the die. This number may be significantly higher than the true transistor count, but if the result is below the relevant transistor threshold, then the foundry can be confident that the die in question will not exceed that threshold. Second, to adjudicate edge cases, the foundry may use standard design verification tools to estimate the number of (both active and passive) transistors on the die using the GDS file. Regardless of approach, if the foundry has knowledge that multiple chiplets will be included in a single package, then the foundry should estimate the aggregate number of transistors in any chiplets the foundry is responsible for manufacturing. A foundry does not need to count the transistors of chiplets that it is not responsible for manufacturing itself.
至于什么是 chiplet 技术，可以自行搜索学习下，大概长这个样子，基本的思想就是将 SoC 分成小的功能模块，然后组合在一起。
可以看到，修改规则之后，虽然之前 H800 在计算性能上 15832 TOPS 超出了限制，但是因为带宽 400 GB/s 低于限制，所以依然满足要求。老黄的刀法成功绕过了 2022 年 10 月的禁令。
但是如果算 performance density，H800 die area 为 [7]，对应 performance density 为 ，已经超出了白皮书中的 5.92 的上限。
(1) a ‘total processing performance’ of 4800 or more, or (2) a ‘total processing performance’ of 1600 or more and a ‘performance density’ of 5.92 or more.
如果算 A800 的 performance density，对应的 die area 为 [8] ，计算为 ，考虑到 applicable die area 可能比 die area 更小，A800 也因此超出了限制，不再能够出售给中国。
P.S. 这里关于 applicable die area 的具体定义暂时没找到，但是计算方法大体也可以反映当前的限制了
为什么要进一步收紧出口管制
为什么美国政府要在 2022 年的政策上进一步加码呢？按照他们白皮书的说法，是为了防止中国军民融合，使用高端 AI 技术促进先进武器的研发和应用[5:1]。
Today’s updated rules will increase effectiveness of our controls and further shut off pathways to evade our restrictions. These controls maintain our clear focus on military applications and confront the threats to our national security posed by the PRC Government’s military-civil fusion strategy. -- Secretary of Commerce Gina M. Raimondo
听起来一如既往的美国范，不能让「邪恶」的共产主义国家拥有致命的武器，上次的禁令也是扯的这个理由。尽管目前俄乌战争的战场上确实有应用到 AI 武器和技术，正好在上一篇 State of AI: 2023 年度人工智能报告之 Politics 与 Safety 中也回顾了这个问题，但是这个理由似乎存疑。但是，在大模型如火如荼的当下，这个禁令似乎更是为了阻止中国进一步研发以及获取先进的人工智能技术。
金融时报 FT 的一个评论[9]很有意思，他的思考逻辑如下：
未来的战争是否真的依赖于 AI，难道美国政府就这么害怕中国具有类似于智能武器追踪这样的技术吗 也许是美国政府发现 AI 可以实现大语言模型 LLM 和智能武器追踪之外的新应用场景，但是他们害怕中国政府也能够拥有这样的技术。 到底是什么呢？是开发能够只针对特定种族的智能瘟疫？由人工智能控制的纳米机器人？智能子弹群？智能的虚假信息宣传活动？
Goes to prove that:
The future of military might lies in AI. What will USA do when China manages to develop the very tech they are blocking access to? Will they preemptively strike There is something they aren't telling us/is not public about what AI can do that's gotten the US so active in blocking others from getting access. It must be more than Large Language Models and smart targeting for weapons. What is it? Development of smart pandemics targeting only specific races? Nanobots controlled by AI? Smart swarms of bullets? Smart disinformation campaigns?
这个听起来可能有点阴谋论的感觉了，但是在最近华为手机芯片获得突破的当下，美国政府再次收紧这个政策的原因有点奇怪，难道就是简单的想推迟中国技术发展的进程吗？
出口管制政策后续
这些出口管制政策能够有效吗？下面是一个持怀疑论的观点[9:1]。一个也许能够绕过的方式是，沙特的一个公司购买了大量高端芯片，然后包装成云服务提供给中国公司使用。这个破解思路和 State of AI: 2023 年度人工智能报告之 Industry 篇 中讲述的沙特阿拉伯国王阿卜杜拉国王科技大学的 LLM 主要研究人员为中国人的思路十分接近。
These sanctions are mostly meaningless and unenforceable.
I can incorporate a company in Saudi Arabia, buy anything I want, build a data canter and sell advanced AI computation services over the internet to companies owned by any entity in China.
In fact it would be a great business for the Saudis and make them a lot of money.
不过考虑到美国政府也在征求公众意见，是否需要考虑将 IaaS 服务也纳入到监管政策中，后续的监管政策或将进一步收紧。
Includes a request for public comments on multiple topics, including risks associated with infrastructure as a service (IaaS) providers, the application of controls on deemed exports and deemed reexports, additional compliance guidance that could be provided to foundries receiving chip designs, and how to more precisely define key terms and parameters in the regulation.[2:1]
出了上述具体的芯片限制规则的更新，这一次美国商务部还进一步限制了先进芯片和芯片制造工具，并且将中国 GPU 芯片制造公司壁仞 (Biren) 和摩尔线程 Moore Thread 列入实体清单[10]。
不管怎么样，美国政府打压中国科技进步的心思是十分明确的。美国管制政策这一次的进一步抓紧也许只是再一次告诉我们：
放弃幻想，多谋退路。
参考资料
https://www.cnbc.com/2023/10/17/us-bans-export-of-more-ai-chips-including-nvidia-h800-to-china.html ↩︎
Public information on export controls imposed on advanced computing and semiconductor manufacturing items to the People's Republic of China (PRC) , https://www.bis.doc.gov/index.php/policy-guidance/advanced-computing-and-semiconductor-manufacturing-items-controls-to-prc ↩︎ ↩︎
https://www.bis.doc.gov/index.php/documents/about-bis/newsroom/press-releases/3158-2022-10-07-bis-press-release-advanced-computing-and-semiconductor-manufacturing-controls-final/file ↩︎
https://www.federalregister.gov/documents/2022/10/13/2022-21658/implementation-of-additional-export-controls-certain-advanced-computing-and-semiconductor ↩︎
https://www.bis.doc.gov/index.php/documents/about-bis/newsroom/press-releases/3355-2023-10-17-bis-press-release-acs-and-sme-rules-final-js/file ↩︎ ↩︎
https://www.bis.doc.gov/index.php/documents/federal-register-notices-1/3353-2023-10-16-advanced-computing-supercomputing-ifr/file ↩︎
https://www.techpowerup.com/gpu-specs/h800-sxm5.c3975 ↩︎
https://www.techpowerup.com/gpu-specs/a800-sxm4-80-gb.c3966 ↩︎
US tightens rules on AI chip sales to China in blow to Nvidia, https://www.ft.com/content/be680102-5543-4867-9996-6fc071cb9212 ↩︎ ↩︎
https://www.birentech.com/News_details/41.html ↩︎